TopoGR: Revealing and Preserving Latent Structure of Semantic ID in Generative Recommendation
TopoGR:保留语义ID拓扑结构的生成式推荐框架
🧭 生成式推荐 · Binary Semantic ID 拓扑保持 ★ 深度解读
Xidian University · Alibaba · University of Science and Technology of China
提出Bit-decomposable Semantic ID暴露汉明拓扑,在输入、监督、推理三阶段利用该结构,解决生成式推荐中tokenizer与generator的结构性不匹配
📌 工作参考价值(4 点)
- 二进制分解 Semantic ID:将物品内容(标题、描述等)经预训练模型得到向量,采用位分解量化(LFQ+可学习位基重建)生成二进制编码作为物品的生成式ID,保留汉明距离表示的语义邻近度,使不同但相近的物品可通过比特重叠关联,优于纯整数ID匹配。
- 训练时用汉明软目标代替 one-hot:根据码字间的汉明距离构造 soft target,让模型对近邻码的惩罚更小,有效提升冷启动物品的推荐质量,可迁移至电商新品冷启动场景。
- 推理时汉明一致性重排:利用预测分布构建软二进制原型,计算候选物品二进制 SID 与原型的一致性分数,修正并行生成得分,只需在小候选池操作,无额外解码延迟,适合在线推理。
- 工程实现注意点:保持 item 级序列输入(不展平 token 序列)以控制 self-attention 复杂度;平衡比特数 r 与 SID 长度 M,确保无码本崩溃;可结合并行预测进一步加速,TopoGR 的整体设计可平滑嵌入现有生成式推荐管线。